<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">
<meta name="generator" content="Hexo 4.0.0">
  <link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png">
  <link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png">
  <link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png">
  <link rel="mask-icon" href="/images/logo.svg" color="#222">
  <link rel="alternate" href="/atom.xml" title="dy2903的博客" type="application/atom+xml">

<link rel="stylesheet" href="/css/main.css">


<link rel="stylesheet" href="/lib/font-awesome/css/font-awesome.min.css">


<script id="hexo-configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/',
    scheme: 'Pisces',
    version: '7.5.0',
    exturl: false,
    sidebar: {"position":"left","display":"post","offset":12,"onmobile":false},
    copycode: {"enable":false,"show_result":false,"style":null},
    back2top: {"enable":true,"sidebar":false,"scrollpercent":false},
    bookmark: {"enable":false,"color":"#222","save":"auto"},
    fancybox: false,
    mediumzoom: false,
    lazyload: false,
    pangu: false,
    algolia: {
      appID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    },
    localsearch: {"enable":false,"trigger":"auto","top_n_per_article":1,"unescape":false,"preload":false},
    path: '',
    motion: {"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}},
    translation: {
      copy_button: 'Copy',
      copy_success: 'Copied',
      copy_failure: 'Copy failed'
    },
    sidebarPadding: 40
  };
</script>

  <meta name="description" content="存储系统演变存储系统一直以来都是一个总的控制器加上几串磁盘扩展柜存在的，但是随着数据量的快速增加，性能受限于控制器，所以要提升整体的处理能力，主要有两种方法：  最简单的是在单个控制器中加入更多的CPU、内存等，就如同PC机性能不够了，就加内存、换SSD等。这种扩展方式称为带内扩展，Scale-up   这种方式的问题是，随着CPU数量的增多，耗费的设计成本会越来越大。比如说在多CPU的系统中，我">
<meta property="og:type" content="article">
<meta property="og:title" content="大话存储，学习笔记（15章），块级集群存储系统">
<meta property="og:url" content="https:&#x2F;&#x2F;duyang2903.gitee.io&#x2F;2019&#x2F;11&#x2F;15&#x2F;%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8815%E7%AB%A0%EF%BC%89%EF%BC%8C%E5%9D%97%E7%BA%A7%E9%9B%86%E7%BE%A4%E5%AD%98%E5%82%A8%E7%B3%BB%E7%BB%9F&#x2F;index.html">
<meta property="og:site_name" content="dy2903的博客">
<meta property="og:description" content="存储系统演变存储系统一直以来都是一个总的控制器加上几串磁盘扩展柜存在的，但是随着数据量的快速增加，性能受限于控制器，所以要提升整体的处理能力，主要有两种方法：  最简单的是在单个控制器中加入更多的CPU、内存等，就如同PC机性能不够了，就加内存、换SSD等。这种扩展方式称为带内扩展，Scale-up   这种方式的问题是，随着CPU数量的增多，耗费的设计成本会越来越大。比如说在多CPU的系统中，我">
<meta property="og:locale" content="en">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-91348d6d006db630.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-be8e125f4875c79a.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-8d86fe2b9e2d4dc1.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-1bc1baa3ac7d4caf.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-6facf61bf4e2ce23.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-7df2dd93a39d7ccf.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-a4939110092e1bdc.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-98504275e049ee7f.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-c99cbdac4a542f9c.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-bf93d5bc42e43cab.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-01126d40a02e3be4.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-2a0022c1f25eff99.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-b5ec481f2a5d269f.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">
<meta property="og:updated_time" content="2019-11-13T13:27:13.000Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="http:&#x2F;&#x2F;upload-images.jianshu.io&#x2F;upload_images&#x2F;1323506-91348d6d006db630.png?imageMogr2&#x2F;auto-orient&#x2F;strip%7CimageView2&#x2F;2&#x2F;w&#x2F;1240">

<link rel="canonical" href="https://duyang2903.gitee.io/2019/11/15/%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8815%E7%AB%A0%EF%BC%89%EF%BC%8C%E5%9D%97%E7%BA%A7%E9%9B%86%E7%BE%A4%E5%AD%98%E5%82%A8%E7%B3%BB%E7%BB%9F/">


<script id="page-configurations">
  // https://hexo.io/docs/variables.html
  CONFIG.page = {
    sidebar: "",
    isHome: false,
    isPost: true,
    isPage: false,
    isArchive: false
  };
</script>

  <title>大话存储，学习笔记（15章），块级集群存储系统 | dy2903的博客</title>
  






  <noscript>
  <style>
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-header { opacity: initial; }

  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript>

</head>

<body itemscope itemtype="http://schema.org/WebPage">
  <div class="container use-motion">
    <div class="headband"></div>

    <header class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-container">
  <div class="site-meta">

    <div>
      <a href="/" class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">dy2903的博客</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
        <p class="site-subtitle">与肝胆人共事，从无字句读书</p>
  </div>

  <div class="site-nav-toggle">
    <div class="toggle" aria-label="Toggle navigation bar">
      <span class="toggle-line toggle-line-first"></span>
      <span class="toggle-line toggle-line-middle"></span>
      <span class="toggle-line toggle-line-last"></span>
    </div>
  </div>
</div>


<nav class="site-nav">
  
  <ul id="menu" class="menu">
        <li class="menu-item menu-item-home">

    <a href="/" rel="section"><i class="fa fa-fw fa-home"></i>Home</a>

  </li>
        <li class="menu-item menu-item-archives">

    <a href="/archives/" rel="section"><i class="fa fa-fw fa-archive"></i>Archives</a>

  </li>
  </ul>

</nav>
</div>
    </header>

    
  <div class="back-to-top">
    <i class="fa fa-arrow-up"></i>
    <span>0%</span>
  </div>


    <main class="main">
      <div class="main-inner">
        <div class="content-wrap">
          

          <div class="content">
            

  <div class="posts-expand">
      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block " lang="en">
    <link itemprop="mainEntityOfPage" href="https://duyang2903.gitee.io/2019/11/15/%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8815%E7%AB%A0%EF%BC%89%EF%BC%8C%E5%9D%97%E7%BA%A7%E9%9B%86%E7%BE%A4%E5%AD%98%E5%82%A8%E7%B3%BB%E7%BB%9F/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="dy2903">
      <meta itemprop="description" content="">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="dy2903的博客">
    </span>
      <header class="post-header">
        <h1 class="post-title" itemprop="name headline">
          大话存储，学习笔记（15章），块级集群存储系统
        </h1>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2019-11-15 10:48:24" itemprop="dateCreated datePublished" datetime="2019-11-15T10:48:24+08:00">2019-11-15</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="fa fa-calendar-check-o"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2019-11-13 21:27:13" itemprop="dateModified" datetime="2019-11-13T21:27:13+08:00">2019-11-13</time>
              </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
        <h2 id="存储系统演变"><a href="#存储系统演变" class="headerlink" title="存储系统演变"></a>存储系统演变</h2><p>存储系统一直以来都是一个总的控制器加上几串磁盘扩展柜存在的，但是随着数据量的快速增加，性能受限于<strong>控制器</strong>，所以要提升整体的处理能力，主要有两种方法：</p>
<ul>
<li><p>最简单的是在单个控制器中加入更多的CPU、内存等，就如同PC机性能不够了，就加内存、换SSD等。这种扩展方式称为<code>带内扩展，Scale-up</code></p>
<p>  这种方式的问题是，随着CPU数量的增多，耗费的设计成本会越来越大。比如说在多CPU的系统中，我们需要花费大量的精力来保证CPU之间的通信。可见<a href="http://www.cnblogs.com/dy2903/p/8341268.html" target="_blank" rel="noopener">【大话存储】多CPU架构变迁， SMP,NUMA,MPP</a></p>
</li>
<li><p>而多台独立的控制器形成一个集群，他们通过网络将互联起来。这种方式叫<code>带外升级，Scale-Out</code></p>
<p>  不过现在大规模主机集群没有广泛应用于企业中，原因在于集群的<code>应用程序</code>还没有跟上。我们知道传统的程序主要是运行在单机上的，并没有针对集群进行相应的优化，目前只有一些数据库等系统提供了集群方式的部署，比如Oracle RAC等。</p>
<p>  另一方面，企业又被主机性能浪费所困扰，又需要部署虚拟机系统</p>
<p>  真的是集群也不是，不集群也不是，又催生了更彻底的解决方案——<strong>云系统</strong>。</p>
</li>
</ul>
<p>好了我们重新回到集群存储系统上来，如果存储系统要做集群，数据分布方式将有两种：</p>
<ul>
<li><p>将整体数据切分成若干份，然后<strong>每一份</strong>都分开存储在单个的节点上</p>
<p>  这种方式，因为完全由系统自己决定如何切分。如果多个应用系统同时访问，有可能会影响系统整体的性能。</p>
</li>
<li><p>手动进行切分，每一份放在独立的节点上。</p>
<p>  这种方式需要更多人为干预，但是却可以保证性能资源的合理分配，每个应用系统只访问一个或者若干节点，不影响其他节点的性能。这种方式，相当于在传统架构中为每个应用建立独立的Raid Group一样。</p>
</li>
</ul>
<p>其实一个存储系统最大的<strong>问题</strong>在于<strong>在多主机并发访问时，如何能保证系统的性能</strong>，目前主要是通过<strong>隔离资源的方法</strong>来解决。</p>
<p>所以对于主机而言，只能看到自己的LUN，只是这些LUN是虚拟出来的，可以进行集中管理。</p>
<p>我们可以把集群存储系统分为如下三种：</p>
<ul>
<li><p>块存储系统</p>
</li>
<li><p>NAS集群系统</p>
</li>
<li><p>文件系统集群</p>
</li>
</ul>
<p>下面我们将先介绍块存储系统，主要介绍市面上几种典型的产品。<br><img src="http://upload-images.jianshu.io/upload_images/1323506-91348d6d006db630.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<h2 id="IBM-XIV集群存储系统"><a href="#IBM-XIV集群存储系统" class="headerlink" title="IBM XIV集群存储系统"></a>IBM XIV集群存储系统</h2><h3 id="组成部分"><a href="#组成部分" class="headerlink" title="组成部分"></a>组成部分</h3><p>XIV是一种<strong>网格集群化存储系统</strong>，每个节点都是一台PC Server，每个节点包含12块本地SATA盘，配置是两颗4核的CPU和8GB的内存。</p>
<p>XIV有共有两种类型的节点：Interface Node , Data Node</p>
<ul>
<li><p>只有Interface Node上插着FC HBA卡，也就说主机只能连接到Interface Module上。Interface Module本身含有12块SATA硬盘。</p>
</li>
<li><p>Data Node只有12块SATA硬盘以及两块双口千兆以太网卡。</p>
</li>
</ul>
<p>所以这两种节点都可以提供存储空间，只是说Interface Node还可以接前端的主机而已。</p>
<p>下图为集群连接拓扑。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-be8e125f4875c79a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<p>下图为机柜示意图</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-8d86fe2b9e2d4dc1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<h3 id="LUN的分布式设计"><a href="#LUN的分布式设计" class="headerlink" title="LUN的分布式设计"></a>LUN的分布式设计</h3><p>集群系统中，LUN被平均分布在多个节点上，也就是说一块逻辑硬盘实际上会拆分成若干份，散落在不同的节点上面。那么我们怎么知道LUN分散到哪里去了呢？这就需要一个<code>映射图</code>来记录每个LUN的分布情况。</p>
<p>为了保证数据块不丢失，每个LUN对应的数据块会<code>镜像</code>一份，而且放到另一个节点上。这样纵然这个节点挂了，还可以根据<code>映射图</code>找到其镜像，然后重新复制一份到剩余空间里面。这种思想就叫<strong>多副本机制</strong>，我们把源分块称为Primary，镜像分块称为Secondary。</p>
<p>这种思想与NetApp的WAFL文件系统极为类似，实际上高度虚拟化的设备，一般来说，底层的LUN不是存在于固定的位置。比如XIV可以通过<code>映射图</code>来记录LUN在所有节点的存储地址，这就是文件系统的思想，我们知道文件系统是可以通过INode Tree来遍历整个文件的分布情况的。</p>
<p>WAFL和XIV正是对文件系统的基本思想的灵活运用，但是XIV的粒度和元数据复杂度没有WAFL那么细，所以没有沦为一个彻底的文件系统。</p>
<blockquote>
<p>所以像XIV这样的块存储系统，对内使用文件系统的基本思想进行LUN的管理，但是对外屏蔽细节，对主机而言是透明的。</p>
</blockquote>
<h3 id="如何应对客户端的写IO"><a href="#如何应对客户端的写IO" class="headerlink" title="如何应对客户端的写IO"></a>如何应对客户端的写IO</h3><p>当某个Interface Node接收到一个写IO的以后，首先会通过<strong>映射表</strong>去判断这个写IO会落到哪个节点上以及其镜像又落在哪里。有两种可能，一种是留在Interface Node 上，也可能在Data Node 上。</p>
<ul>
<li><p>如果是落在Interface Node本地硬盘中，则会将<strong>副本</strong>发送到分块镜像所在的Node中。<br>然后返回成功。</p>
</li>
<li><p>如果是放到另外的节点中，则Interface Node重定向这个写IO到该节点中。应该保存Primary分块的节点会再次根据<strong>映射表</strong>把分片数据复制到副本节点中。<br>当副本也写入成功了以后，才会向最初的Interface Node返回成功回应。由Inteface Node向客户端返回成功。</p>
</li>
</ul>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-1bc1baa3ac7d4caf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<p>总结一下，就是Interface Node会接收到主机的写IO请求，如果发现是写到自己的内部硬盘上，则复制两份到副本节点上。</p>
<p>如果Inteface Node发现数据是写到其他节点上，则会将写IO重定向到对应的节点上，由该节点复制两份数据到其他节点。当所有的写入都成功了以后，才会向最初的Interface Node返回成功，注意，此时仍由Inteface Node 向主机返回成功，也就意味着，主机其实不知道数据被重定向走了，它仍然以为自己在和此Inteface Node 交互数据呢。</p>
<h3 id="XIV快照设计"><a href="#XIV快照设计" class="headerlink" title="XIV快照设计"></a>XIV快照设计</h3><p>我们知道XIV设计也使用了文件系统的思想，所以对于快照，XIV的做法与WAFL差不多，都使用Write Redirect。现在简单的讲一下。</p>
<p>XIV的卷管理模块其实是一个集群文件系统，<strong>每个LUN都对应一个分布式映射表(Distribute Map)</strong>。</p>
<p>如要要生成快照，可以将这个点数据以及映射表先冻结，然后把<strong>映射表</strong>复制一份，做为新的<strong>活动映射表</strong>，之后的针对这个LUN的写IO都会被<strong>重定向</strong>到空闲数据块上，并把<strong>映射表</strong>更新。</p>
<p>所以再生成快照就简单了，只需要把活动的映射表复制一份即可，这就是<strong>Write Redirect</strong>模式。</p>
<h3 id="故障恢复"><a href="#故障恢复" class="headerlink" title="故障恢复"></a>故障恢复</h3><p>XIV对数据分布的本质思想是<code>分布式RAID 10</code>，相当于将一个LUN复制一份，副本保存在其他位置，这样系统的可用容量相当于减半了，我们可以把这种设计称为<code>上层分布式RAID 10</code>。</p>
<p>那么这种RAID 10的做法与传统的RAID 10有什么区别呢？</p>
<p>我们传统的RAID 10不管底层有没有数据占用，都会将所有数据块<strong>镜像</strong>起来，浪费了很多空间。这是因为判断有用或者是没有是上层的文件系统来做的，传统的RAID 10根本无法判断，所以只能一股脑的镜像。</p>
<p>XIV相当于一种粗粒度的文件系统，它可以在上层对数据块是否有用进行判断。</p>
<p>下面来具体看看XIV是怎么做：</p>
<ul>
<li><p>不需要备份无用的块：XIV卷管理系统相当于一个粗粒度的文件系统，LUN就是它管理的文件，所以它可以感知LUN分块占用了磁盘的哪块空间。也就是说卷管理系统完全可以只镜像部分LUN分块，而无须做其他的无用功。</p>
</li>
<li><p>分布式</p>
<p>  假设LUN被分为6块数据块，分别标记为B1<del>B6，镜像块为M1</del>M6。</p>
</li>
</ul>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-6facf61bf4e2ce23.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<p>如果D1故障，为了恢复数据的冗余，可以将镜像块M1~M3复制到D3和D4磁盘中。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-7df2dd93a39d7ccf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="D1故障"></p>
<p>如果<code>D3</code>又故障了，那么数据还是没有丢失，依然继续复制。此时还有冗余性，存在一份副本。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-a4939110092e1bdc.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="D3故障"></p>
<p>此时如果D2或者D4发生了故障，则没有冗余性了，但是数据仍然没有丢失。</p>
<p>此时如果手动添加了两块硬盘，XIV会重新平衡数据。如下图：</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-98504275e049ee7f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<p>XIV的这种上层RAID 10设计可以随时迁移数据块，并且可以任意分布式摆放数据块，不受磁盘数量限制。只受系统内剩余空间限制。我们把这种模式叫<code>上层分布式RAID 10</code></p>
<p>那么与传统的RAID 10有什么区别。传统的RAID 10在一块盘故障之后，只能将数据镜像到新盘里面。</p>
<p>目前发布的XIV系统，最大配置为6个Interface Node和9个Data Node，最大磁盘数为15<em>12 = 180块。XIV这种架构设计可以很容易的*</em>扩充节点**</p>
<h3 id="XIV优点"><a href="#XIV优点" class="headerlink" title="XIV优点"></a>XIV优点</h3><p>下面我们来看一下XIV相对于传统架构有什么优点：</p>
<ul>
<li><p>如果此时系统还有剩余的磁盘空间，只要磁盘一块一块的坏下去，整体数据的冗余性可以保持，直到一点空间都没有的时候。当然前提是，当一个磁盘或者节点坏了以后，需要Rebuild，也就是只有在Rebuild以后，才允许再坏一块硬盘，否则有可能数据被损坏。</p>
</li>
<li><p>另一个优点在于恢复的速度上，它的Rebuild时间短，一个1TB容量的SATA盘损坏之后，Rebuild时间只有30分钟作用，为什么这么快呢？</p>
<ul>
<li><p>原因一：XIV使用的是RAID 10的思想，而不是RAID 5。</p>
<p>这样XIV没有校验盘，不需要计算校验值，也不需要把校验值放到其他空间里面，节省了大量计算资源和IO资源。所以XIV的恢复时间比RAID 5快十几倍很正常。</p>
<p>我们可以简单的对比一下。假设有180块硬盘，组成大RAID 5，此时坏了一块盘，系统需要从剩下的盘里面读所有的数据。</p>
<p>若一块盘容量为1TB，<strong>内部磁盘环路带宽</strong>为4Gb，需要耗费时间（179TB/4Gb）/3600=130.3小时，与XIV的30分钟相比，反差巨大。</p>
<p>还可以与传统的RAID 10对比一下。180块盘组成RAID 10，其中90块数据盘和90块镜像盘，如果一块盘故障，会从对应的镜像盘中读数据。由于是RAID 10，不需要计算XOR等，可以<strong>整盘复制</strong>，所以是<strong>连续读写</strong>，可以达到磁盘的最大吞吐。SATA硬盘的理论连续读吞吐量为60MB/s，所以Rebuild时间为（1TB/60MB/s）/3600 = 4.85小时，为XIV的10倍。因为RAID 10需要整盘复制。</p>
</li>
<li><p>原因二：分布式。</p>
<p>传统RAID 10中，一块盘坏了，只能从镜像盘中取数据，写到新盘上，也就是一个盘读，一个盘写。</p>
<p>而XIV是将LUN分块平衡存放到多个磁盘上，而这些分块对应的镜像也是存放在多块磁盘。所以XIV在 Rebuild的时候，是从多块盘读，多块盘写，相当于RAID 3，众人拾柴火焰高，恢复速度当然快。</p>
</li>
<li><p>原因三：最重要的原因，不做<strong>无用功。</strong></p>
<p>Rebuild的时候，只使用了已占用的数据块，而<strong>不是整块盘</strong>。</p>
</li>
</ul>
</li>
</ul>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-c99cbdac4a542f9c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<h2 id="3PAR公司Inserv-T800集群存储系统"><a href="#3PAR公司Inserv-T800集群存储系统" class="headerlink" title="3PAR公司Inserv-T800集群存储系统"></a>3PAR公司Inserv-T800集群存储系统</h2><p>Inserv-T800为一款x86集群式存储系统。</p>
<p>每个节点都是一台x86 Server，整个集群可以由2~8个节点组成。系统所有节点两两直通，每两个节点使用一条独立的100MHz 64b PCI-X总线相连。</p>
<p>比如一个8节点的系统，1个节点需要与另外7个节点互联，所以每个节点都需要7条PCI-X总线连接到背板，形成一个具有28条直通PCI-X的星形结构。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-bf93d5bc42e43cab.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<p>PCI-X是半双工的，所以内部互联带宽为28*800MB/s=21.875GB/s。</p>
<p>不过因为PCI-X并非一种包交换网络传输模式，<strong>所以背板不需要加电，</strong>是一块布满导线和接口的被动式背板。也正因为此，只用了两个控制器，则只用到一条PCI-X作为互联.</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-01126d40a02e3be4.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"><br>上图为单节点内部的架构，其中ASIC芯片是比较独特的。它将Thin Provision和LUN Shrink功能内嵌到芯片里面来执行。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-2a0022c1f25eff99.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>
<p>3PAR扩展柜很有特色：在4U的空间放置40块3.5的大盘。因为磁盘可以竖着插而且紧密排列，所以散热和共振的问题也解决了。</p>
<p>特点：</p>
<ul>
<li><p>使用直连的PCI-X总线作为节点之间的互联。但是因为使用点对点的互联，而不是使用交换的方式，<strong>系统的扩展性很有限</strong></p>
</li>
<li><p>节点内部使用ASIC来实现大部分的数据操作，而且还负载Thin Provision和LUNShrink(Space Reclaiming)，降低了CPU的负担。而且扩展柜的高密度设计，减少了空间和连线，降低了耗电。</p>
</li>
</ul>
<p>瓶颈在于每个节点使用3条1GB/s的PCI-X总线来支持6个扩展卡共4Gb/s的FC接口，有些不够。所以系统吞吐量上不去。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/1323506-b5ec481f2a5d269f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="image.png"></p>

    </div>

    
    
    

      <footer class="post-footer">

        

          <div class="post-nav">
            <div class="post-nav-next post-nav-item">
                <a href="/2019/11/15/%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%8813%E7%AB%A0%EF%BC%89%EF%BC%8C%E5%8D%8F%E8%AE%AE%E8%9E%8D%E5%90%88/" rel="next" title="大话存储，学习笔记（13章），协议融合">
                  <i class="fa fa-chevron-left"></i> 大话存储，学习笔记（13章），协议融合
                </a>
            </div>

            <span class="post-nav-divider"></span>

            <div class="post-nav-prev post-nav-item">
                <a href="/2019/11/15/%E5%A4%A7%E8%AF%9D%E5%AD%98%E5%82%A8%EF%BC%8C%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%887%E7%AB%A0%EF%BC%89%EF%BC%8COSI/" rel="prev" title="大话存储，学习笔记（7章），OSI">
                  大话存储，学习笔记（7章），OSI <i class="fa fa-chevron-right"></i>
                </a>
            </div>
          </div>
      </footer>
    
  </article>
  
  
  

  </div>


          </div>
          

        </div>
          
  
  <div class="toggle sidebar-toggle">
    <span class="toggle-line toggle-line-first"></span>
    <span class="toggle-line toggle-line-middle"></span>
    <span class="toggle-line toggle-line-last"></span>
  </div>

  <aside class="sidebar">
    <div class="sidebar-inner">

      <ul class="sidebar-nav motion-element">
        <li class="sidebar-nav-toc">
          Table of Contents
        </li>
        <li class="sidebar-nav-overview">
          Overview
        </li>
      </ul>

      <!--noindex-->
      <div class="post-toc-wrap sidebar-panel">
          <div class="post-toc motion-element"><ol class="nav"><li class="nav-item nav-level-2"><a class="nav-link" href="#存储系统演变"><span class="nav-number">1.</span> <span class="nav-text">存储系统演变</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#IBM-XIV集群存储系统"><span class="nav-number">2.</span> <span class="nav-text">IBM XIV集群存储系统</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#组成部分"><span class="nav-number">2.1.</span> <span class="nav-text">组成部分</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#LUN的分布式设计"><span class="nav-number">2.2.</span> <span class="nav-text">LUN的分布式设计</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#如何应对客户端的写IO"><span class="nav-number">2.3.</span> <span class="nav-text">如何应对客户端的写IO</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#XIV快照设计"><span class="nav-number">2.4.</span> <span class="nav-text">XIV快照设计</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#故障恢复"><span class="nav-number">2.5.</span> <span class="nav-text">故障恢复</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#XIV优点"><span class="nav-number">2.6.</span> <span class="nav-text">XIV优点</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#3PAR公司Inserv-T800集群存储系统"><span class="nav-number">3.</span> <span class="nav-text">3PAR公司Inserv-T800集群存储系统</span></a></li></ol></div>
      </div>
      <!--/noindex-->

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
  <p class="site-author-name" itemprop="name">dy2903</p>
  <div class="site-description" itemprop="description"></div>
</div>
<div class="site-state-wrap motion-element">
  <nav class="site-state">
      <div class="site-state-item site-state-posts">
          <a href="/archives/">
        
          <span class="site-state-item-count">20</span>
          <span class="site-state-item-name">posts</span>
        </a>
      </div>
      <div class="site-state-item site-state-tags">
        <span class="site-state-item-count">2</span>
        <span class="site-state-item-name">tags</span>
      </div>
  </nav>
</div>
  <div class="feed-link motion-element">
    <a href="/atom.xml" rel="alternate">
      <i class="fa fa-rss"></i>RSS
    </a>
  </div>



      </div>

    </div>
  </aside>
  <div id="sidebar-dimmer"></div>


      </div>
    </main>

    <footer class="footer">
      <div class="footer-inner">
        

<div class="copyright">
  
  &copy; 
  <span itemprop="copyrightYear">2019</span>
  <span class="with-love">
    <i class="fa fa-user"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">dy2903</span>
</div>
  <div class="powered-by">Powered by <a href="https://hexo.io/" class="theme-link" rel="noopener" target="_blank">Hexo</a> v4.0.0
  </div>
  <span class="post-meta-divider">|</span>
  <div class="theme-info">Theme – <a href="https://pisces.theme-next.org/" class="theme-link" rel="noopener" target="_blank">NexT.Pisces</a> v7.5.0
  </div>

        












        
      </div>
    </footer>
  </div>

  
  <script src="/lib/anime.min.js"></script>
  <script src="/lib/velocity/velocity.min.js"></script>
  <script src="/lib/velocity/velocity.ui.min.js"></script>
<script src="/js/utils.js"></script><script src="/js/motion.js"></script>
<script src="/js/schemes/pisces.js"></script>
<script src="/js/next-boot.js"></script>



  
















  

  

</body>
</html>
